Both goal-agnostic and goal-oriented tasks have practical value for robotic grasping: goal-agnostic tasks target all objects in the workspace, while goal-oriented tasks aim at grasping pre-assigned goal objects. However, most current grasping methods are only better at coping with one task. In this work, we propose a bifunctional push-grasping synergistic strategy for goal-agnostic and goal-oriented grasping tasks. Our method integrates pushing along with grasping to pick up all objects or pre-assigned goal objects with high action efficiency depending on the task requirement. We introduce a bifunctional network, which takes in visual observations and outputs dense pixel-wise maps of Q values for pushing and grasping primitive actions, to increase the available samples in the action space. Then we propose a hierarchical reinforcement learning framework to coordinate the two tasks by considering the goal-agnostic task as a combination of multiple goal-oriented tasks. To reduce the training difficulty of the hierarchical framework, we design a two-stage training method to train the two types of tasks separately. We perform pre-training of the model in simulation, and then transfer the learned model to the real world without any additional real-world fine-tuning. Experimental results show that the proposed approach outperforms existing methods in task completion rate and grasp success rate with less motion number. Supplementary material is available at https: //github.com/DafaRen/Learning_Bifunctional_Push-grasping_Synergistic_Strategy_for_Goal-agnostic_and_Goal-oriented_Tasks
translated by 谷歌翻译
国家估计是自主系统的重要组成部分。已显示整合超宽带(UWB)技术可以纠正长期估计漂移并绕过环路闭合检测的复杂性。但是,机器人技术中很少有作品采用UWB作为独立的状态估计技术。这项工作的主要目的是仅使用UWB范围测量结果研究平面姿势估计,并研究估计器的统计效率。我们证明了两步方案的出色属性,该方案说,我们可以通过高斯 - 纽顿迭代的一步来完善一致的估计器在渐近上有效。基于此结果,我们设计了GN-uls估计器,并通过模拟和收集的数据集进行评估。GN-uls在我们的静态数据集上达到毫米和次级水平的准确性,并在我们的动态数据集中达到厘米和学位水平的精度,从而提出了仅将UWB用于实时状态估计的可能性。
translated by 谷歌翻译
上下文偏见是端到端自动语音识别(ASR)系统的一项重要且具有挑战性现有方法主要包括上下文lm偏置,并将偏置编码器添加到端到端的ASR模型中。在这项工作中,我们介绍了一种新颖的方法,通过在端到端ASR系统之上添加上下文拼写校正模型来实现上下文偏见。我们将上下文信息与共享上下文编码器合并到序列到序列拼写校正模型中。我们提出的模型包括两种不同的机制:自动回旋(AR)和非自动回旋(NAR)。我们提出过滤算法来处理大尺寸的上下文列表以及性能平衡机制,以控制模型的偏置程度。我们证明所提出的模型是一种普遍的偏见解决方案,它是对域的不敏感的,可以在不同的情况下采用。实验表明,所提出的方法在ASR系统上的相对单词错误率(WER)降低多达51%,并且优于传统偏见方法。与AR溶液相比,提出的NAR模型可将模型尺寸降低43.2%,并将推断加速2.1倍。
translated by 谷歌翻译
培训RGB-D突出物体检测(SOD)的深层模型通常需要大量标记的RGB-D图像。然而,不容易获取RGB-D数据,这限制了RGB-D SOD技术的发展。为了减轻这个问题,我们介绍了双半RGB-D突出物体检测网络(DS-Net),以利用未标记的RGB图像来提高RGB-D显着性检测。我们首先设计了深度去耦卷积神经网络(DDCNN),其包含深度估计分支和显着性检测分支。深度估计分支用RGB-D图像训练,然后用于估计所有未标记的RGB图像的伪深度映射以形成配对数据。显着性检测分支用于熔断RGB特征和深度特征以预测RGB-D显着性。然后,整个DDCNN被分配为师生学生框架中的骨干,用于半监督学习。此外,我们还引入了对未标记数据的中间注意力和显着性图的一致性损失,以及标记数据的监督深度和显着性损失。七种广泛使用的基准数据集上的实验结果表明,我们的DDCNN定量和定性地优于最先进的方法。我们还证明,即使在使用具有伪深度图的RGB图像时,我们的半监控DS-Net也可以进一步提高性能。
translated by 谷歌翻译
在线广告中,自动竞标已成为广告商通过简单地表达高级活动目标和约束来优化其首选广告性能指标的重要工具。以前的作品从单个代理的视图中设计了自动竞争工具,而不会在代理之间建模相互影响。在本文中,我们从分布式多功能代理人的角度来看,请考虑这个问题,并提出一个常规$ \强调{m} $ ulti - $ \强调{a} $ gent加强学习框架,以便为$ clown {a} $ uto - $ \ Underline {b} $ IDDIND,即MAAB,了解自动竞标策略。首先,我们调查自动招标代理商之间的竞争与合作关系,并提出了一个温度定期的信用分配,以建立混合合作竞争范式。通过在代理商中仔细开展竞争和合作权衡,我们可以达到均衡状态,不仅担保个人广告商的实用程序,而且保证了系统性能(即社会福利)。其次,为避免竞争低价潜在勾结行为的合作,我们进一步提交了律师代理,为每位专家设定个性化招标酒吧,然后减轻由于合作而导致的收入退化。第三,要在大型广告系统中部署MAAB,我们提出了一种平均现场方法。通过将具有与平均自动竞标代理商相同的广告商进行分组,大规模广告商之间的互动大大简化,使得培训MAAB有效地培训。在离线工业数据集和阿里巴巴广告平台上进行了广泛的实验表明,我们的方法在社会福利和收入方面优于几种基线方法。
translated by 谷歌翻译
This paper presents the TransBoat, a novel omnidirectional unmanned surface vehicle (USV) with a magnetbased docking system for overwater construction with wave disturbances. This is the first such USV that can build overwater structures by transporting modules. The TransBoat incorporates two features designed to reject wave disturbances. First, the TransBoat's expandable body structure can actively transform from a mono-hull into a multi-hull for stabilization in turbulent environments by extending its four outrigger hulls. Second, a real-time nonlinear model predictive control (NMPC) scheme is proposed for all shapes of the TransBoat to enhance its maneuverability and resist disturbance to its movement, based on a nonlinear dynamic model. An experimental approach is proposed to identify the parameters of the dynamic model, and a subsequent trajectory tracking test validates the dynamics, NMPC controller and system mobility. Further, docking experiments identify improved performance in the expanded form of the TransBoat compared with the contracted form, including an increased success rate (of ~ 10%) and reduced docking time (of ~ 40 s on average). Finally, a bridge construction test verifies our system design and the NMPC control method.
translated by 谷歌翻译
大多数现代脸部完成方法采用AutoEncoder或其变体来恢复面部图像中缺失的区域。编码器通常用于学习强大的表现,在满足复杂的学习任务的挑战方面发挥着重要作用。具体地,各种掩模通常在野外的面部图像中呈现,形成复杂的图案,特别是在Covid-19的艰难时期。编码器很难在这种复杂的情况下捕捉如此强大的陈述。为了解决这一挑战,我们提出了一个自我监督的暹罗推论网络,以改善编码器的泛化和鲁棒性。它可以从全分辨率图像编码上下文语义并获得更多辨别性表示。为了处理面部图像的几何变型,将密集的对应字段集成到网络中。我们进一步提出了一种具有新型双重关注融合模块(DAF)的多尺度解码器,其可以以自适应方式将恢复和已知区域组合。这种多尺度架构有利于解码器利用从编码器学习到图像中的辨别性表示。广泛的实验清楚地表明,与最先进的方法相比,拟议的方法不仅可以实现更具吸引力的结果,而且还提高了蒙面的面部识别的性能。
translated by 谷歌翻译
在面部地标定位任务中,各种遮挡由于面部特征的部分可观察性,各种闭塞性严重降低了定位精度。本文提出了一种用于遮挡强大的地标定位的结构关系网络(SRN)。与只需利用形状约束的大多数现有方法不同,所提出的SRN旨在捕捉不同面部部件之间的结构关系。这些关系可以被认为是对遮挡的更强大的形状约束。为实现这一点,分层结构关系模块(HSRM)被设计成分层原因,结构关系代表长距离空间依赖性的结构关系。与现有网络架构相比,HSRM可以通过利用其几何感知网络架构有效地模拟空间关系,这减少了由遮挡引起的语义模糊性。此外,SRN通过合成封闭面来增强训练数据。为了进一步扩展我们的SRN以进行遮挡视频数据,我们将闭塞面为Markov决策过程(MDP)制定。具体地,它计划基于与预训练的SRN的性能劣化相关的累积奖励来移动动态遮挡的移动。此程序增加了强大的面部地标跟踪的硬样品。广泛的实验结果表明,该方法在遮挡和遮蔽面上取得了出色的性能。代码在https://github.com/zhuccly/srn获得。
translated by 谷歌翻译
传统的工业推荐人通常在单一的业务领域培训,然后为此域名服务。但是,在大型商业平台中,通常情况下,推荐人需要为多个业务域提供点击率(CTR)预测。不同的域具有重叠的用户组和项目。因此,存在共性。由于特定用户组具有差异,并且用户行为可能在各种商业域中改变,因此还存在区别。区别导致特定于域的数据分布,使单个共享模型很难在所有域上运行良好。要学习一个有效且高效的CTR模型,可以同时处理多个域,我们呈现明星拓扑自适应推荐(Star)。具体而言,STAR具有星形拓扑,由共享中心参数和特定于域的参数组成。共享参数用于学习所有域的共性,以及域特定参数捕获域区分以进行更精细的预测。给定来自不同商业域的请求,Star可以根据域特征调节其参数。生产数据的实验结果验证了所提出的明星模型的优越性。自2020年以来,STAR已部署在阿里巴巴的显示广告系统中,从RPM获得平均8.0%的改进和6.0%(每米尔勒收入)。
translated by 谷歌翻译
特征交互已被识别为机器学习中的一个重要问题,这对于点击率(CTR)预测任务也是非常重要的。近年来,深度神经网络(DNN)可以自动从原始稀疏功能中学习隐式非线性交互,因此已广泛用于工业CTR预测任务。然而,在DNN中学到的隐式特征交互不能完全保留原始和经验特征交互的完整表示容量(例如,笛卡尔产品)而不会损失。例如,简单地尝试学习特征A和特征B <A,B>作为新特征的显式笛卡尔产品表示可以胜过先前隐式功能交互模型,包括基于分解机(FM)的模型及其变体。在本文中,我们提出了一个共同行动网络(CAN),以近似于显式成对特征交互,而不会引入太多的附加参数。更具体地,给出特征A及其相关的特征B,通过学习两组参数来建模它们的特征交互:1)嵌入特征A和2)以表示特征B的多层Perceptron(MLP)。近似通过通过特征B的MLP网络传递特征A的嵌入可以获得特征交互。我们将这种成对特征交互作为特征合作,并且这种共动网单元可以提供拟合复合物的非常强大的容量功能交互。公共和工业数据集的实验结果表明,可以优于最先进的CTR模型和笛卡尔产品方法。此外,可以在阿里巴巴的显示广告系统中部署,获得12 \%的CTR和8 \%关于每个Mille(RPM)的收入,这是对业务的巨大改进。
translated by 谷歌翻译